Miller sinh ra và lớn lên ở Wyckoff, New Jersey.[6][7][8] Mẹ của Miller, Marta (Koch), là một vũ công đương đại. Cha của Miller, Robert S. Miller, là phó chủ tịch và là giám đốc điều hành của Hyperion Books, và sau đó trở thành một nhà phát hành tại Nhà xuất bản Workman Publishing.[9][10] Miller có hai chị lớn tuổi hơn là Saiya và Caitlin. Cha diễn viên này là người Do Thái và mẹ là người gốc đức Đức và Hà Lan, là từ một nền tảng Cơ đốc. Miller cho rằng mình là người Do Thái.[11][12][13]

Khi lên sáu, Miller bắt đầu theo học opera, để giúp bản thân vượt qua một trở ngại về ngôn ngữ[14]. Miller đã hát cùng Metropolitan Opera,[15] và biểu diễn trong buổi chiếu ra mắt bộ phim White Raven của Philip Glass. Miller theo học Trường Rockland Country Day và The Hudson School, sau đó bỏ học khi phát hành bộ phim Afterschool.[10][16][17]